iT邦幫忙

gradient checkpointing相關文章
共有 1 則文章
1 Like 0 留言 1299 瀏覽
鐵人賽 AI & Data DAY 26
LLM 學習筆記 系列 第 26 篇

技術 LLM Note Day 26 - Gradient Checkpointing

簡介 當訓練資料的長度越長，需要的 GPU 記憶體就會越高，因為算出來的梯度會跟著變大。透過 Gradient Checkpointing 可以幫助我們減少梯度...

Penut Chen ‧ 2023-10-11 ‧團隊消波塊上的海洋貓貓
iThome鐵人賽
參賽組數
1064 組
團體組數
40 組
累計文章數
22192 篇
完賽人數
602 人
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js
熱門問題
熱門回答
熱門文章
IT邦幫忙